Trên một quy mô nhỏ, dẫn nhiệt xảy ra khi các phân tử, nguyên tử hay các hạt nhỏ hơn (như electron) ở vùng nóng (dao động nhanh) tương tác với các hạt lân cận (ở vùng lạnh hơn, dao đông chậm hơn), chuyển giao một số động năng của dao động nhiệt từ hạt dao động nhanh sang những hạt dao động chậm. Nói cách khác, sức nóng được trao đổi giữa các nguyên tử hay phân tử lân cận khi chúng dao động và va chạm với nhau (trong hầu hết vật chất, trao đổi này còn được coi như sự dịch chuyển của dòng proton), hoặc là bởi electron dao động nhanh di chuyển từ một nguyên tử khác (trong kim loại).

Dẫn nhiệt đóng góp lớn vào truyền nhiệt trong một chất rắn hoặc giữa các vật thể rắn khi chúng tiếp xúc nhau. Trong chất rắn, sự dẫn nhiệt xảy ra mạnh vì mạng lưới các nguyên tử nằm ở vị trí tương đối cố định và gần nhau, giúp việc trao đổi năng lượng giữa chúng thông qua dao động được dễ dàng.

Khi mật độ các hạt giảm, tức là khoảng cách giữa các hạt trở nên xa hơn, dẫn nhiệt giảm theo. Điều này là do khoảng cách lớn giữa các nguyên tử gây ra việc có ít va chạm giữa các nguyên tử có nghĩa là chúng ít trao đổi nhiệt hơn. Do đó, chất lỏng và đặc biệt là các loại khí ít dẫn nhiệt. Với các chất khí, khi nhiệt độ hay áp suất tăng, các nguyên tử có xác suất va chạm nhau nhiều hơn, và do đó độ dẫn nhiệt cũng tăng theo.

Tính chất dẫn nhiệt trong lòng vật liệu có thể khác với tính dẫn nhiệt ở bề mặt, nơi có thể tiếp xúc với vật liệu khác.

Kim loại (ví dụ như đồng, platinum, vàng,...) thường là các vật liệu dẫn nhiệt tốt. Điều này là do các điện tử tự do có thể chuyển nhiệt năng nhanh chóng trong lòng kim loại. Các "chất lỏng điện tử" của một vật kim loại rắn tiến hành gần như tất cả các dòng nhiệt qua vật rắn này. Proton mang ít hơn 1% năng lượng nhiệt. Điện tử cũng chuyên chở dòng điện chạy qua các chất rắn dẫn điện, dẫn đến độ dẫn nhiệt và độ dẫn điện của hầu hết các kim loại có cùng một tỷ lệ. Một dây dẫn điện tốt, chẳng hạn như đồng, thông thường cũng dẫn nhiệt tốt. Các hiệu ứng Peltier-Seebeck (hiệu ứng nhiệt điện) có nguồn gốc từ sự dẫn nhiệt của điện tử trong các chất dẫn điện.

Dẫn nhiệt trong một vật rắn tương tự như khuếch tán của các hạt trong chất lỏng, khi không có dòng chảy chất lỏng.